以更少训练学习更多：不确定性引导的渐进收缩实现高效推理后训练
🧭 LLM 推理后训练 · 数据收缩
National University of Singapore · Nanjing University · Fudan University · The University of Sydney · The Chinese University of Hong Kong
用不确定性引导的渐进收缩框架，将推理监督压缩至全量SFT的0.22%训练预算，且维持或提升推理性能
📌 工作参考价值（4 点）
- 在电商/推荐场景用 LLM 生成商品卖点、推荐理由或搜索 query 理由时，可借鉴「不确定性引导的数据筛选」：先对生成轨迹做蒙特卡洛树展开，计算中间步骤的 token 概率方差或模型置信度，只保留高不确定性的样本用于 SFT，能显著降低训练数据量而不丢效果。
- 两阶段收缩可以拆成「离线静态筛选 + 在线动态路由」：离线基于教师模型的不确定性先压缩语料，在线根据学生模型当前 loss 或梯度变化决定是否继续使用某样本，这种策略适合在增量训练或弱标注业务数据上做持续微调。
- 弱到强泛化结果提示：用较弱/较便宜的模型先对大规模生成数据进行筛选，再用筛选后的数据训练更强模型，能降低推理数据标注成本；这在需要大量 LLM 生成内容但标注预算有限的推荐文案、对话式推荐场景很实用。
- 过程级不确定性比只看最终结果的正确性更精细：在处理多步推理链（如购物决策解释、Agent 路径规划）时，可以定位到具体哪一步不稳定，从而针对性补充监督信号或修复 prompt，而不是重训整个样本。
Rollout 引导的 MoE LLM 强化学习 FP4 量化感知训练框架
🧭 低精度 rollout 加速 MoE LLM 强化学习训练
Alibaba Token Hub, Alibaba Group · Ohio State University
提出 TRACE，通过 rollout 侧量化结果引导训练侧 FP4 舍入，实现 FP4 rollout 与 BF16 性能相当并最高加速 5.4 倍
📌 工作参考价值（4 点）
- 在 RL 调 LLM 推荐/搜索 Agent 或生成式 ranker 时，rollout 阶段是主要算力瓶颈，可尝试 FP4 权重/激活 + FP4 KV cache 联合做 rollout；TRACE 表明可与 BF16 rollout 获得相近的最终策略质量。
- 避免直接用离线 PTQ 量化 BF16 训练好的策略：把 rollout 侧实际量化噪声（舍入结果、scale）作为监督信号引入训练侧 QAT，能显著改善最终 FP4 策略性能，比事后量化更可靠。
- 工程上可借鉴 selective quantization-info caching：只缓存深层 mantissa/scale，降低多 GPU 或分布式 rollout worker 间的存储与通信开销，对 MoE 或超大 LLM 生成服务有直接参考。
- 低精度 rollout 最高 5.4 倍加速意味着相同算力下可大幅增加采样轨迹数量，适合需要大量探索的 query 推荐、对话式推荐 Agent 等 RL 训练场景。
LESSER：基于输出层梯度的后训练数据选择
🧭 训练数据选择 · 输出层梯度近似
University of Pennsylvania · University of Texas at Austin
用输出层梯度近似全参数梯度进行数据选择，降低特征提取FLOP 9.7倍/3倍且保持下游性能
📌 工作参考价值（4 点）
- 在 LLM 微调数据筛选中，只提取输出层梯度作为样本特征，避免全参数反向传播，数据选择成本大幅下降；适用于电商搜索/推荐场景下的 LLM 微调、指令数据清洗。
- 工程实现上只需 hook 模型最后一层，兼容现有 gradient-based 选择方法（如 LESS），可作为 drop-in wrapper 快速迁移，无需改变训练流程。
- 即使单个样本的梯度排序与全梯度存在差异，选出的 batch 梯度仍然对齐，因此批量训练效果稳定；可以在大规模候选池中做粗筛或迭代选择。
- 对 RLHF/DPO 等后训练数据筛选，输出层梯度可替代全梯度做相似度排序，尤其适合计算资源受限的团队进行高质量样本挑选。
不要丢弃 Dropout：优化层稀疏性实现高效 LLM 训练与推理
🧭 LLM 层稀疏训练与推理加速
Cerebras Systems · MBZUAI
系统优化层丢弃的分布、调度与超参数，同等 FLOPs 降低损失，训练省 25% FLOPs，推理提速达 1.5 倍
📌 工作参考价值（4 点）
- 若团队在自研或微调大规模 Transformer 推荐模型 / 用户行为序列 LLM，可重新引入 layer dropout，按论文给出的非均匀层分布、渐进式线性衰减调度和优化器超参配置，在不增加训练 FLOPs 预算下获得更低验证损失，或节省约 25% 训练 FLOPs。
- 利用 layer dropout 训练得到的模型具有 elastic depth 能力，可直接做静态 early exit 或 intermediate layer skipping；在电商搜索推荐、Agent 场景中对 LLM 调用频繁的在线服务，可降低推理延迟并节省算力。
- 训练后的模型可配合 self-speculative decoding，将推理速度再提升至 1.5x 且精度损失可忽略，适合广告文案生成、查询理解、对话式推荐等对响应时间敏感的线上链路。
- 对于已有 transformer 模型，可尝试用 layer dropout 做轻量正则化，提升模型对后续剪枝 / 跳层推理的鲁棒性，为线上弹性部署提供基础。
MoE 语言模型中的专家层循环绑定
🧭 MoE 参数共享与内存优化
EPFL
跨层共享专家参数，保持独立路由，几乎无损失地将 MoE 内存占用减半
📌 工作参考价值（4 点）
- 大型推荐模型的内存压缩：若采用 MoE 做多任务或用户分群建模，跨层共享专家 FFN 可近乎砍半参数内存，同时保持独立路由，适合搜索/推荐等需低延迟服务的场景。
- Agent 模型的低成本扩展：构建多专家 Agent 系统时，可通过层间专家复用减少冗余，维持不同层路由独立以保留推理多样性，平衡能力与资源。
- 工程实现注意：复用需保证每层 router 和 attention 独立；可直接应用于 OLMoE/Qwen3/DeepSeek 等主流 MoE 结构，现有模型微调或蒸馏时可尝试专家合并。
- 与 LoRA/量化结合：专家共享后为稀疏模块再留出容量加 LoRA 或小块微调，可在内存受限设备上部署更大型的生成式推荐模型。
概率式分块掩码：让 VLA 强化学习在轨迹发散处高效更新
🧭 高效强化学习训练优化
Indian Institute of Technology Madras
用成功-失败动作方差定位学习信号，概率掩码轨迹块，实现 GRPO 梯度计算 4.8 倍加速且成功率无损
📌 工作参考价值（4 点）
- 在序列决策模型（如对话 Agent、推荐序列）的 RL 训练中，可借鉴 PCM 的思路：仅对成功与失败轨迹出现行为分歧的时间步计算梯度，避免在已经学好的区域浪费算力。
- 利用分组 rollouts（如 GRPO 的对比样本组）的“成功-失败动作方差”作为信息量指标，无需额外价值网络，可低成本筛选出关键决策片段，适合 critic-free 的 LLM 微调场景。
- 在线更新阶段级保留概率的机制，可动态适应策略变化，在推荐模型持续训练或在线学习时有借鉴意义，能更高效地利用回放数据。
- 工程实现上轻量（drop-in 替换 GRPO），无需奖励模型，能同时大幅降低显存（60% 峰值激活）和训练时间，适合资源受限的 VLA 策略或大模型 RL 微调。